草庐IT

Root DNS 分布

全部标签

Hadoop环境搭建-单机、伪分布式、完全分布式

目录一、单机安装 二、伪分布式环境搭建配置SSH免密登录 三、完全分布式环境搭建设置免密修改配置文件本文的所有配置文件,除注释部分都可直接复制粘贴。因为本文的配置文件的语言语法采用的是HTML或JAVA,注释部分可能和linux系统上的不同,因此如果直接复制粘贴记得将注释删除或调整语法。 一、单机安装1、安装虚拟机、操作系统(前期初步准备工作已完成)先关闭firewalld防火墙:systemctlstopfirewalld//停止防火墙systemctldisablefirewalld//关闭防火墙开机自启动systemctlstatusfirewalld//查看防火墙状态2、设置主机名:h

一文拿捏基于redis的分布式锁、lua、分布式性能提升

1.分布式锁jdk的锁:1、显示锁:Lock2、隐式锁:synchronized使用jdk锁保证线程的安全性要求:要求多个线程必须运行在同一个jvm中但现在的系统基本都是分布式部署的,一个应用会被部署到多台服务器上,synchronized只能控制当前服务器自身的线程安全,并不能跨服务器控制并发安全。所以在分布式环境下要解决线程安全问题就需要使用分布式锁思想:需要在我们分布式应用的外面使用一个第三方组件(可以是数据库、Redis、Zookeeper等)进行全局锁的监控,由这个组件决定什么时候加锁,什么时候释放锁原理:在获取锁的时候插入数据,如何数据可以存储成功那么就获取获取到了锁,如果数据插入

【人工智能的数学基础】概率分布之间的散度(Divergence)

文章目录⚪总变差(TotalVariation)⚪KL散度(Kullback-LeiblerDivergence)1.KL散度的定义和性质2.前向KL散度与反向KL散度⚪JS散度(Jenson-ShannonDivergence)1.JS散度的定义和性质2.JS散度的缺点⚪f散度(fDivergence)1.f散度的定义和性质2.f散度的局部变分估算(1)凸函数的共轭函数(2)f散度的估算公式⚪W散度(WassersteinDivergence)1.W散度的定义和性质2.W距离也是一种散度

Spring Cloud 中的分布式组件五花八门,我到底该怎么学?

分布式架构的演进在软件行业,一个应用服务随着功能越来越复杂,用户量越来越大,尤其是互联网行业流量爆发式的增长,导致我们需要不断的重构应用的结构来支撑庞大的用户量,最终从一个简单的系统主键演变成了一个非常复杂的可以支撑高并发的高可用的分布式架构,但是一个系统再复杂也是不断演变来的,所以从另一方面来说,其实是业务(问题)推动了技术的发展。传统的单体应用在早期,我们开发的都是单体应用,也就是一个系统所有的模块都在一个服务上:这种传统的应用开发和运维都非常简单,随着用户量的增加,我们发现应用程序的压力越来越大,于是我们会选择对应用进行集群部署:当然因为选择了集群,我们就需要考虑服务分发的问题,所以需要

【新星计划】Kafka分布式发布订阅消息系统

Kafka分布式发布订阅消息系统 目录Kafka分布式发布订阅消息系统1.概述1.1点对点消息传递模式1.2发布-订阅消息传递模式1.3Kafka特点1.4kafka拓扑图2.Kafka工作原理2.1Kafka核心组件介绍2.2Kafka工作流程分析2.2.1生产者生产消息过程2.2.2消费者消费消息过程2.2.3KafkaTopics2.2.4KafkaPartition2.2.4KafkaPartitionoffset2.2.5offset存储机制2.2.6Consumergroup3.kafka安装3.1修改配置文件3.2分发安装包3.3再次修改文件3.4启动集群​​​​​​​4.Kaf

分布式系统(Distributed Systems)概述

随着互联网的持续发展(以Web应用为代表)、计算机应用的深入、分布式系统构建技术的日益成熟,分布式系统逐渐深入到人们的日常生活,并渗透到社会、经济、文化生活的各个方面。现如今,分布式系统已成为主流的软件系统。本文主要介绍下分布式系统的特征和在进行分布式系统设计过程中所必须解决的问题:可伸缩性、异构性、安全性和故障处理等。分布式系统概念分布式系统是其组件分布在联通的计算机上,组件之间通过消息传递进行通信和动作协调的系统。对分布式系统的定义,覆盖了所有可有效部署联网计算机的系统。由一个网络连接的计算机可能在空间上的距离不等。它们可能分布在地球上不同的国家,也可能在同一机房。分布式系统的定义引出了分

Vue中如何进行分布式搜索与全文搜索(如Elasticsearch)

在Vue中实现分布式搜索与全文搜索(使用Elasticsearch)分布式搜索和全文搜索在现代应用程序中变得越来越重要,因为它们可以帮助用户快速查找和检索大量数据。Elasticsearch是一种强大的分布式搜索引擎,它可以用于实现高性能的全文搜索。本文将介绍如何在Vue.js应用程序中实现分布式搜索和全文搜索,以及如何与Elasticsearch集成。准备工作在开始之前,确保您已经安装了VueCLI,并创建了一个Vue项目。如果您尚未安装VueCLI,请使用以下命令进行安装:npminstall-g@vue/cli然后,您可以使用VueCLI创建一个新的Vue项目:vuecreatemy-s

Hbase 系列教程:HBase 分布式文件存储系统解析

作者:禅与计算机程序设计艺术1.简介:Hbase是Apache的开源NoSQL数据库项目之一。它是一个分布式、可扩展的、高性能、面向列的非关系型数据库。作为Hadoop大数据生态的一部分,Hbase以高可用性、可伸缩性和水平可扩展性著称。它提供了一个列族模型(ColumnFamilyModel),能够存储结构化和半结构化的数据,并允许对数据的不同属性进行索引。同时,它支持ACID事务、查询语言SQL和MapReduce编程模型,具备强大的容错性、高性能等特点。本文将详细阐述Hbase的架构设计及工作原理,并通过两个具体案例进行讲解,展示Hbase在海量数据处理上的强大能力。1.1历史沿革Hba

Jmeter分布式压力测试

目录1、场景2、原理3、注意事项4、slave配置5、master配置6、脚本执行1、场景在做性能测试时,单台机器进行压测可能达不到预期结果。主要原因是单台机器压到一定程度会出现瓶颈。也有可能单机网卡跟不上造成结果偏差较大。例如4C8G的windowserver机器,使用UI方式,最高压测在1800并发(RT20ms以内)左右。如果对于XML文件进行解析,更容易吃CPU,并发数会更低。当单台机器不能支持更大的并发时需要考虑分布式压力测试。 2、原理原理图如下:Jmeter分布式测试时,选择其中一台作为调度机(master),其它机器做为执行机(slave)master通过GUI界面启动slav

@SpringBootApplication注解的理解——如何排除自动装配 & 分布式情况下如何自动加载 & nacos是怎么被发现的

前言spring作为主流的JavaWeb开发的开源框架,是Java世界最为成功的框架,持续不断深入认识spring框架是Java程序员不变的追求。本篇博客介绍SpringBootApplicant注解的自动加载相关内容其他相关的Spring博客文章列表如下:Spring基础(核心容器)——从配置文件到注解开发&创建对象+成员变量赋值IOC&增强方法AOPSpring进阶(AOP的理解)——静态/动态代理&面向切面编程AOP(AspectOrientedProgramming)&日志记录&增强方法Spring进阶(AOP的应用)——动态代理AOP后controller层的private方法访问失